Đề cập vấn đề này, sách Việt Nam sử lược có đoạn:

Nguyên từ khi họ Trịnh giúp nhà Lê Trung Hưng về sau, đất kinh kỳ chỉ dùng lính Thanh, lính Nghệ gọi là ưu binh để làm quân túc vệ. Những lính ấy thường hay cậy công làm nhiều điều trái phép.Năm Giáp Dần (1674) đời Trịnh Tạc, lính tam phủ tức là lính Thanh, lính Nghệ đã giết quan Tham Tụng Nguyễn Quốc Trinh và phá nhà Phạm Công Trứ.Năm Tân Dậu (1741), quân ưu binh lại phá nhà và chực giết quan Tham Tụng Nguyễn Quý Cảnh.Những lúc quân ưu binh làm loạn như vậy, tuy nhà chúa có bắt những đứa thủ xướng làm tội nhưng chúng đã quen thói, về sau hễ hơi có điều gì bất bình, thì lại nổi lên làm loạn.[2]

Tuy nhiên kiêu binh thật sự trở thành quốc nạn, kể từ tháng 10 năm Nhâm Dần (1782), tức lúc lính tam phủ tôn Trịnh Khải lên ngôi chúa và kết thúc vào khoảng tháng 6 năm Bính Ngọ (1786), là lúc Nguyễn Huệ dẫn quân ra bình Bắc Hà. Trong khoảng thời gian dài này, có hai lần lính tam phủ hoành hành rất dữ, vì cậy công.

Cậy công tôn phò chúa

Sách Việt Nam sử lược chép:

Năm Nhâm Dần (1782) Trịnh Sâm mất, Đặng Thị Huệ và Hoàng Đình Bảo (Quận Huy) lập Trịnh Cán lên làm chúa. Con trưởng Trịnh Sâm là Trịnh Khải mưu với quân tam phủ để tranh ngôi chúa. Bấy giờ có tên biện lại thuộc đội Tiệp bảo tên là Nguyễn Bằng[3], người Nghệ An, đứng lên làm đầu, vào phủ chúa đánh ba hồi trống làm hiệu, quân ưu binh kéo đến vây phủ, vào giết Hoàng Đình Bảo, bỏ Trịnh Cán và Đặng Thị Huệ, lập Trịnh Khải lên làm chúa.Trịnh Khải phong quan tước cho Nguyễn Bằng và trọng thưởng cho quân tam phủ. Từ đó quân ấy một ngày một kiêu, cứ đi cướp phá các nhà, không ai kiềm chế được...[2]

Hoàng giáp Bùi Dương Lịch, là người đương thời, kể:

(Sau khi tôn Trịnh Khải) quân lính cậy có công...đòi hỏi những mối lợi nơi điếm tuần, bến đò, đầm hồ, gò bãi, cửa ải, chợ búa...Dân chúng khổ sở vì sự quấy nhiễu hà khắc của chúng, mối hận thấm cốt cốt tủy. Từ đấy, lính với dân coi nhau như kẻ thù. Triều đình phải đặt ra đội Phong vân để tuần phòng trong kinh kỳ, dò xét quân lính, hễ ai còn có thói cũ, rủ nhau tập hợp phá nhà lấy của thì lập tức bắt giải về triều xét xử.[4]

Cậy công tôn phò thái tử

Trước đây (1782), sau khi giết chết Quận Huy, quân tam phủ đã mở ngục rước ba con của Lê Duy Vĩ là Lê Duy Khiêm (sau này là vua Lê Chiêu Thống), Lê Duy Trù và Lê Duy Chi về cung.

Nghe tin Duy Khiêm được thả, Trịnh thái phi Nguyễn Thị (mẹ Trịnh Sâm) vốn ủng hộ Lê Duy Cận (chú ruột của Khiêm), sợ Duy Khiêm về sẽ tranh ngôi thái tử, nên sai hoạn quan là Liêm Tăng (không rõ họ) đến bắt ép Duy Khiêm sang chầu, để toan bí mật giết chết. Duy Khiêm từ chối không được, phải khóc mà đi.Dọc đường, quân tuần sát ngăn lại. Rõ chuyện, họ la hét ầm ĩ, yêu cầu tra cứu người lập mưu làm hại Duy Khiêm. Họ truy lùng tìm Liêm Tăng không được, ngờ là Duy Cận chủ mưu. Lúc ấy, Duy Cận đang chầu Trịnh thái phi, nghi trượng để ngoài cửa phủ đường, quân sĩ kéo đến đập phá tan nát. Duy Cận sợ quá, phải thay đổi quần áo lẻn về cung.

Chúa Trịnh Khải biết việc này là do bà nội mình gây ra, bèn dụ quân sĩ thôi làm huyên náo, rồi xin nhà vua Lê Hiển Tông lập Duy Khiêm làm hoàng thái tôn, và bắt Duy Cận làm tờ biểu nhường ngôi thái tử.Tháng Giêng năm 1783, Lê Duy Khiêm, lúc ấy 18 tuổi, với cương vị là cháu trưởng, được ông nội lập làm hoàng thái tôn, còn chú là Duy Cận bị truất làm Sùng Nhượng Công.

Một hôm, quân lính họp nhau, đem việc đón rước hoàng tôn (Duy Khiêm) ở nhà giam ra tâu lên hoàng thượng, để xin được ban ơn. Nhà vua (Lê Hiển Tông) liền sai người làm tiệc thết đãi, rồi từ từ bàn đến cách thưởng công cho họ.Lúc đó, có kẻ chạy đi báo tin với chúa (Trịnh Khải). Chúa cho đòi ngay Nguyễn Khản [5], Dương Khuông vào phủ. Sau khi nghe ý kiến của hai cận thần, Chúa bèn sai viên đầu hiệu đội Nhưng Nhất là Triêm vũ hầu (Nguyễn Triêm) đem đội quân Phong vân đến vây bắt được bảy người.

Sau đó, theo sách Lê quý dật sử, thì:

Triều đình bàn xét nếu đem giết hết e sẽ gây ra biến loạn. Nếu không giết thì không lấy gì răn đe được. (Dự tính) trước tiên đem chém một hai tên đầu sỏ gian ác để dần dần ức chế tính kiêu ngạo của chúng. Bấy giờ trong triều có Tham tụng Nguyễn Khản, Quản trung cơ Nguyễn Khuông (cậu chúa Trịnh Khải) mới được cất nhắc, vốn ghét quân sĩ không phục mình, đã chiếu theo luật: "lẻn vào hoàng thành" xử tội chém hết để răn quân lính.Được sáu ngày, quân sĩ lại gây bạo loạn. Họ gào thét xông thẳng vào phủ chúa, tìm giết Khản và Khuông. Khản trốn về trấn Sơn Tây, Khuông nấp mình trong phủ chúa. Mẹ chúa là Dương Thị bước ra phủ đường khóc kêu xin tha cho Khuông. Chúa lại cho nhiều tiền bạc để chuộc cho cậu, quân sĩ mới chịu kéo trở về đập phá nhà riêng của Khản, Khuông. Hôm sau, quân lính lại đòi đem Nguyễn Triêm giết đi để hả giận riêng. Chúa không có cách nào nữa, vời Triêm đến lấy lời lẽ yên nước, yên nhà ra bảo; lại cho dân một xã thờ cúng, ruộng thế nghiệp 30 mẫu, rồi sai Triêm ra chịu chết.[6]

Tan rã

Ở Sơn Tây, Nguyễn Khản cùng với em mình là Nguyễn Điền đang làm quan ở đó, bí mật dâng tờ khải lên chúa, xin mộ nghĩa sĩ tứ trấn để giết kiêu binh. Nghe kế ấy, chúa ban chiếu cho phép.

Theo sách Hoàng Lê nhất thống chí, thì:

Trong đám kiêu binh có kẻ biết mưu của chúa, liền mắng chúa và cử lính canh giữ phủ chúa rất ngặt. Chúa sai người ra báo lại với các trấn hoãn ngày khởi sự, nhưng chưa đến kịp thì các đạo theo đúng hẹn cũ đã rầm rộ kéo quân lên đường. Thiên hạ cực kỳ náo động. Hào kiệt các nơi đồng thời nổi dậy, ai ai cũng nói phải tiêu diệt hết kiêu binh.Ngày hôm đó, hết thảy kiêu binh hai xứ Thanh Nghệ đóng ở các trấn đều phải bỏ trốn, lúc đi qua làng mạc chúng không dám lên tiếng. Hễ kẻ nào buột miệng lòi ra thổ âm Thanh Nghệ, tức thì bị dân chúng bắt giết ngay. Bọn chúng phải luôn luôn giả cách làm người câm, ăn xin ở dọc đường, rồi lần mò về kinh, báo cho đám kiêu binh ở đây biết cái tin nay mai quân các trấn sẽ về họp ở dưới thành.Được tin này, bọn kiêu binh ở kinh tức thì họp nhau bàn cách chống cự. Rồi họ chia nhau thành các đạo kéo đi. Nhưng đạo phía Tây mới kéo ra đến Đại Phùng, đạo phía Bắc mới kéo đến cầu Vịnh thì đã bị ngay các tay thổ hào địa phương đánh thua. Họ phải bỏ cả khí giới, cố mang vết thương mà chạy về kinh.Bấy giờ kinh thành chấn động, dân hàng phố kẻ chợ đều dắt díu bồng bế nhau ra ngoài thành chạy trốn. Đám kiêu binh vừa sợ vừa tức, gọi chúa là giặc. Rồi họ kéo vào trong phủ, lấy hết binh khí, chia cho cơ đội các dinh nắm giữ. Phủ chúa lúc ấy không còn một tấc sắt nào để tự vệ...[7]

Sau có quan tham tụng là Bùi Huy Bích dỗ dành mãi mới dần dần hơi yên. Tháng 5 năm Cảnh Hưng 47 (1786), quân Tây Sơn tiến nhanh ra Bắc. Đình thần nhà Lê - Trịnh bàn việc sai tướng đem quân vào chống ngăn. Nhưng ưu binh lúc này đã quen thói kiêu căng, rất sợ chinh chiến, nên lấy cớ đòi tiền lương, để chần chừ không chịu tiến quân, khiến trong kinh thành càng xôn xao dữ, ai nấy đều tính kế tháo chạy.[8] Ngày mồng 6 tháng 6 năm Bính Ngọ (1 tháng 7 năm 1786) quân của Nguyễn Hữu Chỉnh đến Vị Hoàng (Nam Định). Nguyễn Huệ đến hợp quân với Chỉnh rồi cùng tiến ra Thăng Long. Quân Tây Sơn đi đến đâu, quân Trịnh tan tác đến đó, nạn kiêu binh kể như chấm dứt cùng sự sụp đổ của họ Trịnh.